Năm 1867 (Đinh Mão), có vị sư Nguyễn Quới (thường gọi là thầy Rau) trên đường vân du đến đây, thấy địa thế tốt nên ở lại và xây dựng chùa trên đỉnh gò để tu hành. Tên hiệu của chùa là Linh Sơn Tự hay còn được gọi là Chùa Núi[1].

Về mặt tiền sử học, di chỉ cư trú Rạch Núi với bề dày tầng văn hóa gần 5m chứng minh rằng sự có mặt từ rất sớm của cư dân bản địa trên đồng bằng sông Cửu Long, ổn định cuộc sống và phát triển khá lâu dài, sinh sống bằng cách khai thác các sản vật tự nhiên từ rừng, từ biển và dựa vào các nguyên liệu trên để chế tác công cụ lao động, săn bắt và qua các sưu tập hiện vật phong phú về chất liệu và loại hình ở đây đã gợi mở cho các nhà khảo cổ học một ý tưởng về một "Văn hóa Rạch Núi" [3] hay mang tính chất văn hóa miền Đông Nam Bộ trong thời đại đá mới – đồng[1][4].